人工智能的学术泡沫：论文井喷，进展寥寥

海归学者发起的公益学术平台

分享信息，整合资源

交流学术，偶尔风月

近日，来自于Science的一篇社论表示，研究人员对数十项号称“人工智能里程碑”的信息检索算法进行了详细研究，结果发现，它们远没达到它们所声称的那种革命性。研究人员认为，这些算法实际只不过是对早前算法技术做了细微调整而已。

这篇名为《Core progress in AI has stalled in some fields》的文章来自于麻省理工学院研究员Davis Blalock，他的团队仔细研究了81种神经网络算法，发现这些被认为“取得了进一步成就”的算法，无法确认有任何实质上的改进。Blalock说：“看了五十篇论文，唯一看明白的事情是，现在整体水平的进展如何是越来越难看明白了。”

过去十年的人工智能技术进步十分亮眼，复杂检索、面部识别、智能摄像、语音识别、智能翻译等领域各自都取得了指数级别的增长，虚拟现实的技术水平也愈发出色。这些成就很大程度上归功于硬件上的迭代更新，当然也不乏算法改进所起到的推进作用。

但该文章却明确指出，尽管许多新算法都声称自己具备更优秀的表现，但是它们很少得到恰当的对比。研究人员在将它们进行对比评估后，发现人工智能算法上的某些改进实际上是子虚乌有，在过去十年中没有明确证据可以表明其算法性能出现提升。研究人员表示，通过对旧有算法的细微调整，它们完全可以拿来与那些被高度吹捧的新改进、新方法一样应用。并且在许多情况下，新方法并不对旧方法表现出优越性。

卡内基梅隆大学计算机科学家 Zico Kolter也有同样的发现。Kolter曾经研究一种用于抵御黑客攻击的图像识别模型。此类黑客攻击名为“对抗攻击”，它依靠巧妙地更改代码来绕过系统防火墙。而早期针对此类黑客攻击的是一种名为PGD（projected gradient descent）的算法，它可以通过训练AI系统来区分代码示例的真伪。这项方案颇为可靠，但据说已被更为复杂的新进算法所超越。

但是，在预印本平台arXiv 发表的一篇论文中，Kolter 却发现，只需要在PGD等早期方法的基础之上微作调整，其能够达到的性能就与所谓的新算法完全相同了。Kolter 的博士生 Leslie Rice表示：“我们感到震惊，这一点在此前从未被质疑过。”Kolter说，该这项研究表明 ，在PGD 这类算法上进一步改进或许很难实现，因为“很显然，PGD 就是正确的算法，这是显而易见的，但人们想要找到更复杂的解决方案。”

图片来源：X. LIU / SCIENCE

Science的一篇评论文章对搜索引擎中使用的信息检索算法进行了荟萃分析，分析数据涵盖了近十年（截至2019年）的数据，结果发现最高水准实际上在2009年就已奠定。（如上图所示）而19年的另一项研究声称，在流服务中的神经网络推荐算法里，18 种推荐算法中仅有7 种得以成功复现，而且其中 6 个在性能上无法超越多年前开发的更简单算法。

MIT 计算机科学家 John Guttag 表示，过去十年来，人工智能的某些领域显然缺乏重大进展，这应当归咎于无法正确比较和评估成果水准 。“如果你无法衡量一件事，就很难让它变得更好。”Kolter则推测，将成果挂名在新算法上得到的回报更丰厚，这比仅仅对旧方法做修补调整更有吸引力。Blalock认为审稿人应该借用更多方法对成果进行比对评估，并表示更好的工具或许可以事半功倍。事实上，文章的共同作者、MIT 研究人员 Jose Gonzalez Ortiz就推出了一款名为 ShrinkBench 的软件，帮助人们快捷地比较算法。

不过Guttag 也指出，将算法之间进行比较并不总是那么容易，实现起来具有一定难度。每个研究者都使用不同的数据集、调试方法、性能度量指标和基线，要去进行一一对应的比较是很麻烦的。也有一些学者表示，即使新的算法在性能上并未表现出对旧有算法的优越性，但也不能完全抹杀其理论价值，它或许可能作为一种新的解决思路应用在其他问题上，扮演它山之石的角色也未可知。

但一个不能忽视的现象是，AI领域近年来的“大跃进”导致了文献的井喷式爆发，文献数量的增多、资源的超量汇聚则令作者们倾向于夸大成果。而便捷直观的评价手段又十分缺乏，这就导致了整个学术领域开始膨胀起一个个“学术泡沫”，这无疑是不利于学术发展的。

从“概念刷屏”，到资本涌入，再到泡沫破灭，最终复归实际，这四步似乎是任何新技术都难以逃过的铁律。而人工智能更是因循这样的轨迹“三起三落”。现如今深度学习、神经网络等研究势不可挡，但也有人认为这不过是更大的一次泡沫而已。这或许过于悲观。人工智能近几年熠熠生辉的成果是为人所共同见证的，这的确在指引着一个新的时代。但泡沫也确实存在，学者们对成果夸大的批评即说明了这一事实。技术发展有其内在逻辑，资本过度追捧在学术圈所激起的泡沫，只能是贻害无穷。

论文链接：

https://science.sciencemag.org/content/368/6494/927

点击下方知社人才广场，查看最新学术招聘

点击“阅读原文”查看论文原文。

扩展阅读

 

本文系网易新闻·网易号“各有态度”特色内容

媒体转载联系授权请看下方